토큰화 (Tokenization): 문장을 단어나 구문으로 분리합니다. 토큰화는 문장을 단어나 구두점으로 분리하는 작업입니다. 이 과정에서는 문장을 단어 단위로 분리하고, 이 단어들을 토큰(Token)이라는 단위로 나눕니다. 이후 다음 단계에서 이 토큰들을 이용하여 분석합니다.